Da middelalderen var over, reformasjonen innført og Norge formelt sett kun en dansk provins, lå byen Tønsberg nedbrent igjen etter den store bybrannen i 1536. Det skulle ta lang tid før byen klarte å reise seg igjen.
Tønsberg var på midten av 1500-tallet nærmest som en etterlatt branntomt. Den gamle og mektige kjøpstaden, som noen hundreår tidligere hadde vært både en militær, politisk og kirkelig bastion, var nå kun en skygge av seg selv.
Av Norges lille knippe med kjøpsteder, var Tønsberg blant de aller minste og fattigste. Handelsaktiviteten var tørrlagt, og borganlegget Tunsberghus, som allerede i 1503 hadde blitt plyndret og satt i brann, hadde ingen militær funksjon lenger for den danske kongen. Ettersom ingen større vassdrag munnet ut ved byen, som kunne fløte ut tømmeret fra det skogrike omlandet, fikk heller ikke byen ta noe særlig del i den stadig viktigere trelasthandelen. Innbyggertallet falt til under 1000, og Tønsberg ble dessuten utfordret av tre nye kjøpsteder innen Tønsbergs tidligere handelsområde, Fredrikstad, Kristiansand og til sist Larvik, som alle fram mot 1670-tallet fikk byrettigheter som gikk på bekostning av Tønsberg.
Midt i disse årene av nedgang og stagnasjon dukket det likevel opp håp om bedre tider. 1600-tallets Tønsberg knyttes særlig til handelsmannen, rederen og borgermesteren Anders Madsen (1609-1670). Han bygde opp en betydelig formue gjennom handel og eiendom, og nærmest egenhendig sørget han for at Tønsberg igjen fikk styrket økonomisk posisjon. Etter hvert fulgte flere i Madsens fotspor, og spesielt sjøfarten skulle bidra til å løfte byens økonomiske stilling, særlig mot slutten av 1700-tallet.
Rett utenfor bygrensa hendte det også noe som skulle få betydning for byen, grevskapet ble etablert. Midt på 1600-tallet var det dansk-norske riket nærmest bankerott etter mange år med kostbare kriger og feilslåtte felttog. Krigsnederlag førte til at flere gamle norske og danske områder måtte avgis til Sverige midt på 1600-tallet. Kongen i København var nå på desperat jakt etter penger og politisk handlingsrom. I 1660 klarte han å utmanøvrere riksrådet og innførte eneveldet. Salg av store landeiendommer og adelige titler skulle være med på sikre kongen inntekter.
Den danske adelsmannen Peder Griffenfeld fikk derfor kjøpte Tønsberg len og ble fra 1673 greve over området med utgangspunkt i den gamle kongsgården på Sem, dagens Jarlsberg hovedgård. Undersåttene i verken Sem eller Tønsberg fikk nok ikke se synet av ham. Allerede i 1675 ble Griffenfeld erklært som landsforræder av kongen og grevskapet ble solgt videre til stattholder Ulrik Fredrik Gyldenløve, som allerede da var greve over Larvik grevskap. Visstnok var det Gyldenløve som kom opp med navnet Jarlsberg, og det var utsikten fra kongsgården til Slottsfjellet som ga Gyldenløve inspirasjonen, altså synet av «jarlenes berg». I 1683 ble grevskapet solgt videre til Wedel-familien, som fortsatt holder til på hovedgården, nå under navnet Jarlsberg hovedgård. Samtidig ble kjøpstaden Tønsberg, med ladestedene Holmestrand og Strømsø, skilt ut fra grevskapet. Jarlsbergsgrevenes innflytelse over Tønsberg var uansett fortsatt merkbar, ikke minst gjennom store eiendommer i byen, som Slottsfjellet.
Selv om Norge formelt sett kun hadde vært en dansk provins siden 1536, var det nok få innbyggerne som i århundrene deretter følte seg som danske. Folkelig fortellertradisjon, norske krøniker og den første utgivelsen av Snorres kongesagaer på norsk i 1633 førte også med seg en stadig økende interesse for det særegne norske og for norsk historie. Denne interessen bredte også om seg i Tønsberg og kom blant annet til uttrykk i pastor Jens Müllers beskrivelse over kjøpstaden fra 1750. I denne første omfattende skildringen av byen siden middelalderen beskriver Müller hvordan byen så ut i hans samtid, og både Lavranskirken og Mariakirken, som i dag er borte, er sentrale deler av bybildet. Müller viser også stor interesse for Tønsbergs særegne historie og skriver at ”Tønsberg er en ældgammel, ja den allerældste Kjøbstad i hele Norge”. Denne påstanden setter Müller seg fore å bevise, med sagalitteraturen som bevismateriale. Sakte begynte byens historiske bevissthet å vekkes til live.
Müller bruker også mye plass på å beskrive det da ferske saltverket på Vallø, etablert i 1739. Sammen med reperbanen på Teie, etablert helt på tampen av 1700-tallet, og de mange skipsbyggeriene er dette eksempler på tidlig industrietablering i Tønsberg-området. Men det var altså først og fremst som sjøfartsby at Tønsberg endelig skulle hente seg ut av den lange nedgangstida siden 1500-tallet og igjen hevde seg blant de norske kystbyene. I første halvdel av 1700-tallet økte sjøfartshandelen til og fra Tønsberg jevnt og trutt, og mot slutten av århundret hadde Tønsberg tatt igjen nabobyenes, inkludert Larviks, forsprang. Rett før 1814 var det bare Arendal og Bergen som, målt i samlet tonnasje, var større sjøfartsbyer enn Tønsberg i hele landet. Dette skulle likevel bare være starten på Tønsbergs sjøfartseventyr.
I 1778 tok en framtidsrettet mann plass som byfogd i Tønsberg, Ove Gjerløw Meyer. Han var kjent som en norsk patriot og en av stifterne av Det norske Selskab i København tidligere på 1770-tallet. Han hadde allerede før han kom til Tønsberg ytret ønsket om å få på plass et eget norsk universitet, og nå, som byfogd i Tønsberg, mente han at nettopp Tønsberg var best egnet til en slik etablering av alle landets byer. Da kronprins Frederik besøkte Norge i 1788, tok Gjerløw pennen fatt, og, inspirert av Müllers beskrivelse noen tiår tidligere, skrev han en situasjonsrapport fra byen. Her ble alle gode grunner for å legge et norsk universitet til byen listet opp. Tiden for et eget norsk universitet var likevel ikke moden, men Tønsbergs selvtillit var uansett gjennom økt velstand og handel, og ikke minst gjennom økt lokal og nasjonal selvbevissthet, oppadgående. Byen var nå på vei inn i et nytt århundre som skulle bli svært så avgjørende både for nasjonen og for byen.
